• 专利附录
  • 专利说明
  • 权利要求
  • 类似技术
  • 同族专利
  • 引用文献
  • 法律状态
  • 优先权
    • 专利摘要:

    公开号:WO1992007443A1
    申请号:PCT/JP1991/001446
    申请日:1991-10-22
    公开日:1992-04-30
    发明作者:Hiroya Kusaka；Takashi Sakaguchi
    申请人:Matsushita Electric Industrial Co., Ltd.；
    IPC主号:H04N5-00
    专利说明:
    [0001] 明 細 書
    [0002] 発明の名称
    [0003] 画像動き検出装置
    [0004] 技術分野
    [0005] 本発明は撮像装置の手揺れ捕正等に用い る画像動き検出装置 に 関す る も ので あ る。
    [0006] 背景技術
    [0007] 撮像装置を用いて被写体を撮影す る に際 し、 手で撮像装置を 直接保持し た り、 車両等の移動体に搭載する と、 撮影時の揺れ が画面に発生する。 こ のため、 画面の搖れを映像信号か ら検出 し、 こ の揺れ情報に基づいて画像の位置補正を行う手揺れ補正 装置が実用 されてい る。 こ の よ う な手揺れ捕正装置には、 画面 上の画像の動き を検出する画像動き検出装置が必要と な る。
    [0008] その う ちの代表例と し て、 まず第一に、 撮影後に画像信号か ら画面のゆれを検出し、 こ のゆれ情報に基づいて画面の位置補 正を行い、 ゆれを除去する方法について説明する （T V学会技 術報告 V O L .1 1， N o .3, M a y. 1 9 8 7 ) 。
    [0009] 画面ゆれを持っ た映像信号は、 最初に A / D変換され、 2 つ の系統に分配される。 そ の う ち片方は、 Y/ C分離回路へ送ら れ、 Y信号のみを取り 出 し、 動 き ベ ク ト ル検出回路へ送ら れる。 動き ベ ク ト ル検出回路では、 検出領域の制御を受けつつ、 最適 な補正べク ト ル の発生までを行う。
    [0010] 一方、 A/D変換回路で分配された も う 一方の信号は遅延回 路へ送 られ、 動 き ベ ク ト ル検出回路が動き ベ ク ト ルを検出 し、 捕正ベ ク ト ルを発生する の に要する 時間だけ遅延される。 そ の 後、 メ モ リ へ書き込まれ、 読み出 し ア ド レ ス の制御、 画像の拡 大、 補間等の処理を経て、 D Z A変換回路へ送ら れ、 出力信号 と なる。
    [0011] 次に、 撮影時に画像信号から画面のゆれを検出 し、 こ のゆれ 情報に基づいて画面の位置補正を行い、 ゆれを除去する方法に ついて説明する ( IEEE Transactions on Consumer Electronic s, Vol .36 , No .3 , AUGUST 1990) 。
    [0012] 画面ゆれを持っ た映像信号は、 最初に A / D変換され、 2 つ の系統に分配される。 そ の う ち片方は、 動 き ベ ク ト ル検出回路 に送られ、 フ ィ ル タ 回路で必要な信号成分のみを取り 出 し、 最 適な補正べ ク ト ルの発生を行う。
    [0013] 一方、 A / D変換回路で分配された も う一方の信号は、 メ モ リ へ書き込まれ、 補正ベ ク ト ルに応じ た読み出 し ア ド レ ス の制 御、 画像の拡大、 捕間等の処理を経て、 D / A変換回路へ送ら れ、 出力信号と なる。
    [0014] しかしながら上記の構成では、 ィ ン タ ー レ ー ス によ っ て生じ る映像信号の フ ィ ール ド 間の垂直方向の 1 / 2 ラ イ ン のずれに ついて考慮をし ていないために、 画面の揺れを補正する捕正べ ク ト ルに こ の垂直方向の 1 ノ 2 ラ イ ン分の誤差が含まれて し ま う と い う問題があ つ た。
    [0015] 本発明は こ の よ う な従来の問題点を解決する も ので あ っ て、 垂直方向の両像動き検出の精度を向上させる こ と を技術的課題 とする。
    [0016] 発明の開示
    [0017] 本発明は こ の課題を解決する ため に、 イ ン タ レ ー ス方式の映 像信号に対し、 現フ ィ ール ド の入力映像信号を複数の領域に分 割し、 各領域の代表点に対応する信号を代表点信号と して記憶 し、 かつ、 前フ ィ ール ド の各代表点信号を出力する代表点記憶 回路と、 前記代表点記憶回路か ら の各代表点信号と、 これに対 応する入力映像信号の各領域内の信号と の間で相関演算を行う 相関演算回路 と、 前記相関演算回路か ら得 ら れた演算結果か ら 画像動きベ ク ト ルを検出する動き ベ ク ト ル検出回路と、 前記動 き べ ク ト ル検出回路か ら得られた画像動き べ ク ト ルを補正する 動き べ ク ト ル補正回路と を具備し た画像動 き検出装置であ る。
    [0018] ま た、 本発明は、 イ ン タ レ ー ス方式の入力映像信号に対し、 こ の入力映像信号の ラ イ ン間の補間処理を行い補間信号を作 り、 これを垂直方向捕間映像信号と し て出力する垂直方向補間回路 と、 前記垂直方向捕間映像信号ま たは前記入力映像信号を複数 の領域に分割し、 各領域の代表点に対応する信号を代表点信号 と して記憶し、 かつ、 前フ ィ ール ド の各代表点信号を出力する 代表点記憶回路 と、 前記代表点記憶回路か ら の各代表点信号と、 こ れに対応する前記垂直方向捕間映像信号ま たは前記入力映像 信号の前記各領域内の信号と の間で相関演算を行う相関演算回 路 と、 前記相関演算回路か ら得られた演算結果か ら画像動き べ ク ト ルを検出する動き べ ク ト ル検出回路と を具備した画像動き 検出装置であ る。
    [0019] こ の構成に よ り、 映像信号の フ ィ ール ド 間での ィ ン タ レ ー ス によ る垂直方向の画素のずれか ら生じ る画像動き ベ ク ト ル の検 出値の誤差を補正でき る。
    [0020] 図面の簡単な説明 第 1 図は本発明の第 1 の実施例に おけ る画像動き検出装置の ブロ ッ ク図
    [0021] 第 2 図は第 1 図で示し た動き べ ク ト ル補正回路の内部構成を 示すプロ ッ ク 図
    [0022] 第 3 図は本発明の第 2 の実施例における画像動き検出装置の 構成を示すプロ ッ ク図
    [0023] 第 4図は本発明の第 3 の実施例における画像動き検出装置の 構成を示すプロ ッ ク図
    [0024] 第 5 図は本発明の第 4 の実施例における画像動き検出装置の 構成を示すブロ ッ ク図
    [0025] 第 6 図は本発明の第 5 の実施例におけ る画像動き検出装置の 構成を示すプロ ッ ク図
    [0026] 第 7 図は本発明の第 6 の実施例におけ る画像動き検出装置の 構成を示すプロ ッ ク図
    [0027] 第 8 図はィ ン タ レ ー ス方式の映像信号の説明に供する説明図 発明を実施する ための最良の形態
    [0028] 以下、 本発明の第 1 の実施例について、 図面を参照し ながら 説明する。
    [0029] 第 1 図は本発明の第 1 の実施例におけ る画像動き検出装置の ブロ ッ ク図を示すも のであ る。 第 1 図において、 1 1 は現フ ィ 一ル ド の入力映像信号を複数の領域に分割し、 各領域の代表点 に対応する信号を代表点信号と し て記憶し、 かつ、 前フ ィ ール ド の各代表点信号を出力する代表点記憶回路であ る。 1 2 は各 代表点信号と入力映像信号の各領域内の信号間で相関演算を行 う相関演算回路である。 1 3 は相関演算回路 1 2 での演算結果 か ら画像動き べ ク ト ルを検出する動 き べ ク ト ル検出回路であ る。
    [0030] 1 4 は動き べ ク ト ル検出回路 1 3 で得られた画像動き べ ク ト ル を捕正する動き べ ク ト ル捕正回路であ る。
    [0031] 第 2図は、 第 1 図の動き ベ ク ト ル捕正回路 1 4 の詳細図であ る。 第 2図において、 2 1 は入力に あ る一定数を加算する加算 器、 2 2は入力にある一定数を減算する減算器、 2 3 は フ ィ ー ル ド情報によ り 制御される ス ィ ツ チ回路であ る。
    [0032] 以上のよ う に構成さ れた本実施例の画像動き検出装置につい て、 以下そ の動作を説明する。
    [0033] 代表点記憶回路 1 1 は現フ ィ ール ド の入力映像信号を複数の 領域に分割し、 各領域の代表点に対応する信号を代表点信号と し て記憶する。 そ してその時に、 前 フ ィ ー ル ド で記憶し ていた 各代表点信号を相関演算回路 1 2 に出力する。 相関演算回路 1 2 は代表点記憶回路 1 1 か ら出力された前フ ィ ー ル ド の各代表 点信号と、 これに対応する現フ ィ ー ル ド の入力映像信号の各領 域内の信号と の間で相関演算を行う。 但し、 こ こ では イ ン タ レ ー スによる フ ィ ール ド間の垂直方向の画素のずれは考慮に入れ られていない。 相関演算回路 1 2 か ら得ら れた演算結果よ り 動 き ベ ク ト ル検出回路 1 3 は画像動き ベ ク ト ルを検出する。 動き ベ ク ト ル検出回路 1 3 で得られた画像動き ベ ク ト ルはイ ン タ レ ー スに よる フ ィ ー ル ド 間の垂直方向の画素のずれを考慮にいれ ずに検出されて い るため、 ィ ン タ ー レ ー ス に よ る誤差を含んで い る。 こ の誤差を捕正する ために動 き ベ ク ト ル捕正回路 1 4 は、 現在の フ ィ ール ド が偶数フ ィ ール ド か奇数 フ ィ ー ル ド か に よ つ て、 あ る一定数を減算ま たは加算する。 こ こ で、 減算ま たは加 算する一定数と は第 8 図に示す D の値 （ こ の実施例においては ラ イ ン 間隔の 1 Z 2 ) で あ る。 こ こ で の減算ま た は加算の方法 を第 8 図を用いて説明する と、 現在の入力映像信号の フ ィ ール ド が A フ ィ ール ド の場合、 相関演算回路 1 2 で相関演算される 信号は A フ ィ ー ル ド の入力映像信号と、 そ の 1 フ ィ ール ド前の B フ ィ ール ド の入力映像信号か ら得られた代表点信号と な る た めに、 動き べ ク ト ル検出回路 1 3 で検出 さ れる動きべ ク ト ルか ら第 8 図で D に当たる量だけ減算する。 つ ま り、 ス ィ ッ チ回路 2 3 が減算器 2 2 の出力を選ぶよ う にする。 逆に、 現在の フ ィ 一ル ド が B フ ィ ール ド の場合は、 動 き ベ ク ト ル検出回路 1 3 で 検出 される動き べ ク ト ルか ら第 8 図で D に当た る数だけ加算す る。 つま り、 ス ィ ッ チ回路 2 3 が加算器 2 1 の出力を選ぶよ う にする。 そ して、 こ の減算または加算によ り 捕正された画像動 き べ ク ト ルを最終的な画像動き べ ク ト ル と して出力する。
    [0034] 以上のよ う に本実施例に よれば、 動き ベ ク ト ル検出回路 1 3 で検出 された画像動き べ ク ト ルを動 き べ ク ト ル補正回路 1 4 で 捕正する こ と に よ り、 従来の方法では どう し ても 避け られなか つ た画像動き べ ク ト ル の垂直方向の誤差を低減で き る。
    [0035] なお、 動き ベ ク ト ル検出回路 1 3 の動作については、 相関演 算を行う各領域中で得られた画像動 き ベ ク ト ル情報の中で、 そ の画像動き べ ク ト ル情報を同一方向を示すべ ク ト ル情報毎に分 類し、 最も多いべ ク ト ル情報に よ り 示される方向及び大き さ を 画面全体に対する画像動き べ ク ト ル とする方法等考案さ れてい るが、 特に こ れに限る も の ではない。
    [0036] ま た、 動きベ ク ト ル補正回路 1 4 の構成を第 2 図において、 加算器 2 1 , 減算器 2 2， ス ィ ッ チ回路 2 3 の 3 つの部分に分 けて表現し てい る が、 特に こ れに限る も のではない。
    [0037] ま た、 産業上の利用分野と し て撮像装置の手揺れ捕正を挙げ てい るが、 特に こ れに限る も の では な く、 例えば画像動き べ ク ト ルを利用する適応型アパー チ ャ捕正、 適応型ノ イ ズ リ ダク シ ョ ン等に関 し て も 同様の効果が得られる。
    [0038] 次に、 本発明の第 2 の実施例について、 図面を参照し ながら 説明する。
    [0039] 第 3 図は本発明の第 2 の実施例におけ る画像動き検出装置の ブロ ッ ク図を示すも のであ る。 第 3 図 おいて、 3 1 は入力さ れたィ ン タ レ ー ス方式の現フ ィ ール ド の入力映像信号を ラ イ ン 間で捕間処理を行い、 垂直方向捕間映像信号と し て出力する垂 直方向補間回路である。 3 2 は垂直方向補間回路 3 1 か ら 出力 きれた垂直方向捕間映像信号を複数の領域に分割し、 各領域の 代表点に対応す る信号を代表点信号 と して記憶し、 そ し て こ の と き に前フ ィ ー ル ド で記憶していた各代表点信号を相関演算回 路 3 3 に出力す る代表点記憶回路であ る。 3 3 は代表点記憶回 路 3 2 から の各代表点信号と、 これに対応する入力映像信号と の各領域内の信号と の間で相関演算を行う相関演算回路であ る。
    [0040] 3 4 は相関演算回路 3 3 か ら得られた演算結果か ら画像動き べ ク ト ルを検出す る動き ベ ク ト ル検出回路であ る。 3 5 は動き べ ク ト ル検出问路 3 4か ら得られた画像動き べ ク ト ルを補正す る 動き べ ク ト ル補正回路であ る。
    [0041] 以上のよ う に構成された本実施例の画像動き検出装置につい て、 以下そ の動作を説明する。 垂直方向補間回路 3 1 は現 フ ィ 一ル ド の入力映像信号を ラ イ ン 間で捕間処理を行い、 垂直方向 補間映像信号と し て出力する。 代表点記憶回路 3 2 は垂直方向 補間回路 3 1 か ら 出力 された垂直方向捕間映像信号を複数の領 域に分割し、 各領域の代表点に対応する信号を記憶する。 そ し て こ の と き に、 こ の代表点記憶回路 3 2 は前フ ィ ール ド で記憶 していた各代表点信号を相関演算回路 3 3 に出力する。 相関演 算回路 3 3 は代表点記憶回路 3 2 か ら の前フ ィ ー ル ド の各代表 点信号と、 現フ ィ ール ド の入力映像信号と の各領域内の信号と の間で相関演算を行う。 そ して、 動 き ベ ク ト ル検出回路 3 4 は 相関演算回路 3 3 から得ら れた演算結果か ら画像動き ベ ク ト ル を検出する。 最後に、 動き 'ベ ク ト ル捕正回路 3 5 によ り 動き べ ク ト ル検出回路 3 4で検出 された画像動き べ ク ト ルの捕正を行 う。 こ の動き ベ ク ト ル捕正回路 3 5 に よ る捕正について第 8 図 . を用いて説明する と、 第 8 図で A フ ィ ール ド において補間信号 を作る場合、 例えば、 m 1 と m 2 か ら補間信号を作る場合、 こ の捕間信号に対応する B フ ィ ール ド の垂直方向走査位置は n 2 であ り、 こ れは B フ ィ ール ド の m l ' と同 じ走査位置と な り、 A フ ィ ール ド の代表点と B フ ィ ール ド の映像信号間の相関演算 を行い、 動き ベ ク ト ルを検出する際、 検出 された画像動き べ ク ト ル の補正は必要ない。 し かし、 逆に B フ ィ 一ル ドにおいて補 間信号を作る場合、 例えば m 1 ' と m 2 ' か ら捕間信号を作る 場合、 こ の補間信号に対応する A フ ィ ール ド の走査位置は η 3 であ り、 これは Α フ ィ ー ル ド の m 2 と 同じ走査位置と な り、 B フ ィ ール ド の代表点と A フ ィ ール ド の映像信号間の相関演算を 行い動きベ ク ト ルを検出する際、 検出 された画像動き ベ ク ト ル は 1 ラ イ ン分の垂直方向の捕正が必要と な る。 こ の捕正を行う のが動きべ ク ト ル捕正回路 3 5 であ る。
    [0042] 以上のよ ό に本実施例に よれば、 垂直方向捕間回路 3 1 に よ り ィ ン タ レ ー ス方式の映像信号の フ ィ ール ド 間での垂直方向の 画素の位置ずれを解消 し、 連続する フ ィ ー ル ド 間で対応する位 置に画素を存在さ せる こ と がで き、 これに よ り ィ ン タ レ ー ス に よ る フ ィ ール ド 間の垂直方向の画素のずれのために生じ る画像 動き ベ ク ト ルの検出誤差を低減し、 画像動 き ベ ク ト ル の検出精 度を向上させる こ とが可能であ る。
    [0043] 第 4図は本発明の第 3 の実施例に おけ る画像動き検出装置の ブロ ッ ク図を示すも のである。 第 4図において、 4 1 〜 4 5 ま での各回路の名称および機能は第 2 の実施例の 3 1 ~ 3 5 と そ れぞれ同一であ る。
    [0044] 以下その動作を説明する。
    [0045] 垂直方向補間回路 4 1 は現 フ ィ ー ル ド の入力映像信号を ラ イ ン間で捕間処理を行い捕間信号を作 り、 こ れを垂直方向捕間映 像信号と し て出力する。 代表点記憶回路 4 2 は入力映像信号を 複数の領域に分割し、 各領域の代表点に対応する信号を記憶す る。 そ して こ の と き に、 こ の代表点記憶回路 4 2 は前フ ィ ー ル ド で記憶し ていた各代表点信号を相関演算回路 4 3 に出力する。 相関演算回路 4 3 は代表点記憶回路 4 2 か ら の前 フ ィ ー ル ド の 各代表点信号と、 垂直方向補間回路 4 1 か ら の出力映像信号の 各領域内の信号と の間で相関演算を行う。 以下、 動き ベ ク ト ル 検出回路 4 4 およ び動き べ ク ト ル捕正回路 4 5 で の処理に関し ては、 上記の第 2 の実施例 と同様であ る ので説明を省略する。 以上のよ う に構成し た本実施例においても第 2 の実施例と 同 じ く、 イ ン タ レ ー ス に よ る フ ィ ール ド 間の垂直方向の画素のず れのために生じ る検出 される画像動 き べ ク ト ル の誤差を低減し、 画像動きべ ク ト ル の検出精度を向上させる効果が得られる。
    [0046] 第 5 図は本発明の第 4 の実施例における画像動き検出装置の ブロ ッ ク図を示すものであ る。 第 5 図において、 5 1 は入力 さ れたィ ン タ レ ー ス方式の現フ ィ ール ド の映像信号をラ イ ン間で 捕間処理を行い、 これを垂直方向補間映像信号と して出力する 垂直方向捕間回路であ る。 5 2 は垂直方向捕間回路 5 1 か ら 出 力された垂直方向捕間映像信号を複数の領域に分割し、 各領域 の代表点に対応する信号を代表点信号と し て記憶し、 そ し て こ の と き に前フ ィ ール ド で記憶していた各代表点信号を相関演算 回路 5 3 に出力する代表点記憶回路である。 5 3 は代表点記憶 回路 5 2か ら の各代表点信号と、 これに対応する入力映像信号 の各領域内の信号と の間で相関演算を行う 相関演算回路であ る。 5 4 は相関演算回路 5 3 か ら得ら れた演算結果か ら画像動き べ ク ト ルを検出する動き べ ク ト ル検出回路であ る。 5 5 は フ ィ ー ル ド情報に よ り 代表点記憶回路 5 2 を制御し、 代表点と それに 対応する映像信号の各領域との位置関係を変化さ せる代表点記 憶出力制御回路である。
    [0047] 以上のよ う に構成された本実施例の画像動き検出装置につい て、 以下その動作を説明する。
    [0048] 垂直方向補間回路 5 1 は現フ ィ ー ル ド の入力映像信号を ラ イ ン 間で補間処理を行い捕間信号を作 り、 こ れを垂直方向捕間映 像信号と し て出力する。 代表点記憶回路 5 2 は垂直方向捕間回 路 5 1 か ら 出力 された垂直方向捕間映像信号を複数の領域に分 割し、 各領域の代表点に対応する信号を記憶する。 そ し て こ の と き に、 こ の代表点記憶回路 5 2 は前フ ィ ー ル ド で記憶し てい た各代表点信号を代表点記憶出力制御回路 5 5 の制御に よ り 相 関演算回路 5 3 に出力する。 こ の代表点記憶出力制御回路 5 5 の働き について説明する と、 上記第 2 の実施例で述べた よ う に 第 3 図のよ う な構成の画像動き検出装置では、 映像信号の捕間 処理のために、 動きべ ク ト ル捕正回路 3 5 に よ り 1 ラ イ ン分の 補正を行っ ていた。 し かし本実施例においては、 代表点記憶出 力制御回路 5 5 を付加する こ と によ り その捕正の必要を無 く し た。 こ の代表点記憶出力制御回路 5 5 に よ る補正について第 8 図を用いて説明する と、 第 8図で A フ ィ ー ル ド において捕間信 号を作る場合、 例えば m 1 と m 2 か ら捕間信号を作る場合、 こ の捕間信号に対応する B フ ィ ール ド の垂直方向走査位置は n 2 であ り、 こ れは B フ ィ ール ド の m l ， と 同 じ走査位置と な り、 A フ ィ ール ド の代表点と B フ ィ ール ド の映像信号との間で相関 演算を行い動き べ ク ト ルを検出する際、 検出 された画像動き べ ク ト ル の捕正は必要ない。 しかし、 逆に B フ ィ ー ル ド において 補間信号を作る場合、 例えば m 1 ' と m 2 ' か ら捕間信号を作 る場合、 こ の補間信号に対応する A フ ィ ー ル ド の走査位置は n 3 であ り、 こ れは A フ ィ ール ド の m 2 と同 じ走査位置と な り、 1 ラ イ ン分のずれが牛 て し ま う。 こ のずれを解消する ため B フ ィ ール ド の代表点と A フ ィ ール ド の映像信号間の相関演算 を行う 際に、 A フ ィ ー ル ド の相関演算開始ラ イ ン を m 1 ではな く m 2 とする よ う に代表点記憶回路 5 2 か ら の代表点信号の出 力 タ イ ミ ン グを制御する のが代表点記憶出力制御回路 5 5 であ り、 これに よ り、 第 1 の実施例が必要と し た、 検出された動き べ ク ト ルの 1 ラ イ ン分の捕正を行う動き べ ク ト ル捕正回路 3 5 が不要とな る。
    [0049] 以上のよ う に本実施例によれば、 垂直方向捕間回路 5 1 と代 表点記憶出力制御回路 5 5 によ り、 イ ン タ レ ー ス方式の映像信 号の フ ィ ー ル ド 間での垂直方向の画素の位置ずれを解消 し、 連 続する フ ィ ール ド間で対応する位置に画素を存在させる こ と が で き、 さ ら に、 動きベ ク ト ル捕正回路を用い る こ とな く イ ン タ レ ー ス によ る フ ィ ール ド 間の垂直方向の画素のずれのために生 じ る画像動き ベ ク ト ル の検出誤差を低減し、 画像動き ベ ク ト ル の検出精度を向上させる こ とが可能であ る。
    [0050] なお、 第 4 の実施例は第 2 の実施例の構成を基にして説明 し たが、 第 3 の実施例を基に しても 同様の効果が得られる こ と は 明かである。
    [0051] 第 6 図は本発明の第 5 の実施例におけ る画像動き検出装置の ブロ ッ ク図を示すも のであ る。 第 6 図において、 6 1 は現フ ィ ー ル ド の入力映像信号を ラ イ ン 間で捕間処理を行い補間信号を 作 り、 これを垂直方向捕間映像信号と して出力する垂直方向補 間回路であ る。 6 2 は以後の回路系に送る映像信号を垂直方向 捕間回路 6 1 か ら の出力である垂直方向補間映像信号と するか、 ま たは垂直方向捕間回路 6 1 で の捕間処理を受けない入力映像. 信号とするかを フ ィ ー ル 情報に よ り 選択する信号選択回路で あ る。 6 3 は信号選択回路 6 2 の出力映像信号を複数の領域に 分割し、 各領域の代表点に対応する信号を記憶し、 かっ こ の と き に、 前フ ィ ー ル ド で記憶していた各代表点信号を出力する代 表点記憶回路であ る。 6 4 は代表点記憶回路 6 3 から の前フ ィ 一ル ド の各代表点信号 と、 信号選択回路 6 2 の出力映像信号の 各領域内の信号と の間で相関演算を行う相関演算回路であ る。 そ し て、 6 5 は相関演算回路 6 4 か ら得ら れた演算結果か ら画 像動き べク ト ルを検出する動き べ ク ト ル検出回路であ る。
    [0052] 以下その動作を第 2, 第 3 , 第 4 の実施例と異なる点を中心 に説明する。
    [0053] 垂直方向捕間回路 6 1 は現 フ ィ ール ド の入力映像信号を ラ イ ン 間で捕間処理を行い捕間信号を作 り、 こ れを垂直方向捕間映 像信号と し て出力する。 信号選択回路 6 2 は垂直方向補間回路 6 1 か ら の出力である垂直方向捕間映像信号と入力映像信号と を フ ィ ール ド情報によ り 選択する。 代表点記憶回路 6 3 は信号 選択回路 6 2 の出力映像信号を複数の領域に分割し、 各領域の 代表点に対応す る信号を記憶する。 そ して こ の と きに、 こ の代 表点記憶回路 6 3 は前フ ィ ール ド で記憶し ていた各代表点信号 を相関演算回路 6 4 に出力する。 相関演算回路 6 4は代表点記 憶回路 6 3 か ら の前フ ィ ー ル ド の各代表点信号と、 信号選択回 路 6 2 の出力映像信号の各領域内の信号と の間で相関演算を行 う。 そ し て、 動き ベ ク ト ル検出回路 6 5 は相関演算回路 6 4 か ら得られた演算結果か ら画像動き べ ク ト ルを検出する。
    [0054] 本実施例においては、 信号選択回路 6 2 を設け る こ と に よ り、 上記第 2， 第 3 の実施例で必要であ っ た動 き べ ク ト ル補正回路 3 5 , 4 5 が不要と な り、 また、 第 4 の実施例で必要であ っ た 代表点記憶出力制御回路 5 5 が不要と な る。 こ の理由を第 8 HI を用いて説明する と、 現在の入力映像信号の フ ィ ール ド が Α フ ィ ール ド と し、 信号選択回路 6 2 が垂直方向捕間回路 6 1 か ら の捕間処理された映像信号を選択し てい る と する と、 前フ ィ ー ル ドでの信号選択回路 6 2 の出力信号は垂直方向捕間処理を受 けていない信号である ので、 相関演算回路 6 4 で相関演算され る前フ ィ ール ド の映像信号から作ら れた各代表点信号と現フ ィ 一ル ド の映像信号は、 フ ィ ール ド が違う に も 関わ らず垂直方向 の画素の位置のずれはない。 次に、 同様に現在の入力映像信号 の フ ィ ール ド が B フ ィ ール ド と し、 信号選択回路 6 2が垂直方 向捕間回路 6 1 を経ていない映像信号を選択し ている と する と、 前フ ィ ール ド での信号選択回路 6 2 の出力信号は垂直方向補間 処理を受けた信号であ る の で、 相関演算回路 6 4 で相関演算さ れる前フ ィ ール ド の映像信号か ら作られた各代表点信号と現フ ' ィ ール ド の映像信号は、 こ れも ま た フ ィ ー ル ド が違う に も 関わ らず垂直方向の画素の位置のずれはない。
    [0055] 以上のよ う に本実施例に よれば、 垂直方向捕間回路 6 1 と信 号選択回路 6 2 に よ り ィ ン タ レ ー ス方式の映像信号の フ ィ ール ド間での垂直方向の画素の位置ずれを解消 し、 連続する フ ィ ー ル ド 間で対応する位置に画素を存在さ せる こ と ができ、 さ ら に、 第 2， 第 3 の実施例で必要であ っ た動き ベ ク ト ル捕正回路 3 5， 4 5 を用い る こ と な く ィ ン 夕 レ ー ス に よ る フ ィ ー ル ド 間 の垂直 方向の両素のずれのた めに生じ る画像動き べ ク ト ルの検出誤差 を低減し、 画像動きべ ク ト ルの検出精度を向上さ せる こ とが可 能であ る。 ま た、 第 4 の実施例で必要であ っ た代表点記憶出力 制御回路 5 5 も不要と な る。 第 7 図は、 本発明の第 6 の実施例におけ る画像動き検出装置 の ブ ロ ッ ク 図を示すも のである。 第 7 図において、 7 1 ~ 7 5 の各回路の名称および機能は上記第 5 の実施例の 6 1 ~ 6 5 と それぞれ同一であ る。 7 6， 7 7 は映像信号か ら画像の特徴を 油出する フ ィ ル タ回路であ る。 7 8 は フ ィ ル タ 回路 7 6， 7 7 か ら の入力を フ ィ ール ド情報に よ り 切 り 換え る フ ィ ル タ選択回 路であ る。
    [0056] 以下、 その動作を第 5 の実施例 と異なる 点を中心に説明する。 入力映像信号か ら の特徴抽出のた めの フ ィ ル タ 回路を持っ た 画像動き検出装置に、 上記第 2 ~第 5 の実施例の よ う に映像信 号の捕間処理を行う垂直方向捕間回路を加えた場合、 こ の捕間 処理が一種の低域通過 フ ィ ル タ の効果を果たすた めに、 画像動 き検出装置全体で見た場合の映像信号に与え る全体的な フ ィ ル ' タ効果が、 従来の捕間処理を伴わない場合 と異な り、 フ ィ ル タ 効果が劣化し て し ま う。 こ の フ ィ ル タ効果の劣化を捕正する た めに フ ィ ル タ 回路 7 6， 7 7 と フ ィ ル タ選択回路 7 8 を設け、 捕間演算処理を行う場合の全体的な フ ィ ル タ 効果の劣化を捕正 する。 フ ィ ル タ 選択回路 7 8 は信号選択回路 7 2 と連動し て動 作し、 信号選択回路 7 2 が垂直方向捕間回路 7 1 を経ていない 映像信号を選択する と き、 フ ィ ル タ選択回路 7 8 は フ ィ ル タ 回 路 7 6 を選択し、 逆に 信号選択回路 7 2 が垂直方向捕間回路 7 1 を経た映像信号を選択する と き は、 フ ィ ル タ選択回路 7 8 は フ ィ ル タ 回路 7 7 を選択する。 こ れに よ り 代表点記憶回路 7 3 以後の回路系に送られる映像信号に対する フ ィ ル タ特性を全 体的に等し く し、 最適な効果を得る こ と がで き る （つま り フ ィ ル タ特性と し て は、 （ フ ィ ル タ 回路 7 6 の特性） = ( フ ィ ル タ 回路 7 7 の特性） + (垂直方向捕間回路 7 1 の特性） と い う こ と であ る） 。 こ の他の垂直方向捕間回路 7 1 , 信号選択回路 7 2, 代表点記憶回路 7 3， 相関演算回路 7 4 およ び動き べ ク ト ル検出回路 7 5 で の処理に関し ては、 上記第 5 の実施例と 同様 で あ る ので省略する。
    [0057] 以上のよ う に本実施例に よれば、 よ り正確な画像動き べ ク ト ルを検出する ための、 あ る最適な特性の フ ィ ル タ 回路を持つ画 像動き検出装置に、 イ ン タ レ ー ス に よ る映像信号のフ ィ ー ル ド 間の垂直方向の画素のずれのために生じ る画像動きべ ク ト ルの 誤差を補正する ための垂直方向捕間回路を付加し た場合でも、 新たに別の フ ィ ルタ回路を設け る こ と によ り、 両フ ィ ール ド に おいてその最適な特性の フ ィ ル タ効果を得る こ と ができ る回路 構成が実現でき る。
    [0058] なお、 フ イ ノレ タ 回路 7 6 と フ ィ ル タ 回路 7 7 は、 こ こ で は 2 つの回路に分けて記述し てあるが特に 2 つに分け る必要はな く、 共用でき る部分は共用し て 1 つの フ ィ ル 夕 回路と しても 良い こ と は明かであ る。
    [0059] ま た、 フ ィ ル タ選択回路 7 8 に つ い て、 こ こ で は独立し た 1 つの回路と し て記述してい るが、 特に独立させる必要はな く、 フ ィ ル タ回路 7 6， 7 7 に内蔵する等考え られる こ と は明かで め 。
    [0060] ま た、 本実施例においては フ ィ ル タ 回路を画像動き検出回路 の前段に設けてい るが こ れに限る も のではない。 例えば、 垂直 方向補間回路 7 1 と信号選択回路 7 2 の間に フ ィ ル タ 回路 7 7 を置き、 入力映像信号か ら垂直方向捕間回路 7 1 を通 ら ずに信 号選択回路 7 2 に至る経路中に フ ィ ル タ 回路 7 6 を置 く よ う な 構成も考え られ、 こ の場合は フ ィ ル タ選択回路 7 8 と信号選択 回路 7 2を共用する こ と ができ る。
    [0061] ま た、 本実施例は第 5 の実施例に フ ィ ル タ 回路を付加し た構 成例を示し たが、 前述し た第 2, 第 3， 第 4 の実施例に、 フ ィ ル タ 回路を付加し た場合に も本実施例におけ る よ う な フ ィ ル タ 回路の追加が有用であ る こ と は明かであ る。
    [0062] ま た、 上述し た第 2〜第 6 の実施例中で用いた動き べ ク ト ル 検出回路の動作については、 相関演算を行う 各領域中で得ら れ た画像動き べ ク ト ル情報の中で、 そ の画像動き べ ク ト ル情報を 同一方向を示すべ ク ト ル情報毎に分類し、 最も 多いべ ク ト ル情 報によ り示される方向及び大き さ を画面全体に対する画像動き べ ク ト ルとする方法等考案されてい るが、 特に こ れに限る も の で は な い。
    [0063] ま た、 産業上の利用分野と して撮像装置の手揺れ捕正を挙げ てい るが、 特に これに限る も の ではな く、 例えば画像動き べ ク ト ルを利用する適応型アパー チ ャ 補正、 適応型ノ イ ズ リ ダク シ ョ ン等に関し て も 同様の効果が得られる。
    [0064] 産業上の利用可能性
    [0065] 以上説明 し た よ う に、 本発明に よれば、 イ ン タ レ ー ス方式の 映像信号に対し、 画像動 き ベ ク ト ルを検出す る際、 イ ン タ レ ー ス に よ る フ ィ ー ル ド間の垂直方向の画素のずれのために どう し ても生じ る画像動きベ ク ト ル の検出誤差を、 動き ベ ク ト ル捕正 回路に よ り補正し、 こ れに よ り 画像動き ベ ク ト ル の検出精度を 向上させる こ と が可能であ る。
    [0066] ま た、 イ ン タ レ ー ス方式の映像信号に対し画像動き ベ ク ト ル を検出する際、 ィ ン タ レ ー ス に よ る フ ィ ール ド 間の垂直方向の 画素のずれのために生じ る画像動き べ ク ト ル の検出誤差を垂直 方向捕間回路に よ り補正し、 こ れに よ り画像動き ベ ク ト ル の検 出精度を向上さ せる こ と が可能であ る。
    [0067] ま た こ の と き、 従来か ら の映像信号から画像の特徴を抽出す る フ ィ ルタ 回路を設けた画像動き検出装置に映像信号の捕間処 理を加えた場合に、 そ の映像信号の捕間演算処理を行う場合と 行わない場合の全体的な フ ィ ルタ に よ る効果の差異をな く し、 よ り 一層の画像動きべ ク ト ルの検出精度の向上が可能であ る。
    权利要求:
    Claims

    請 求 の 範 囲
    複数の領域に分割さ れた映像信号で現フ ィ ール ド の各颌 域の代表点に於け る映像信号を現代表点信号と し て保持し、 前フ ィ ール ド の各領域の代表点に於け る前代表点信号を出 力する代表点記憶回路 と、
    前記代表点記憶回路から の前代表点信号と こ れに対応す る現フ ィ ール ド の映像信号と の相関演算処理を行う 相関演 算回路と、
    前記相関演^回路の演算処理結果か ら画像の動き べ ク ト ルを検出す る動き べ ク ト ル検出回路と、
    前記動き べ ク ト ル検出回路よ り 検出 さ れる動き べ ク ト ル の上下方向成分に、 現フ ィ ール ド と前フ ィ ー ル ド の上下方 向の走査位置ずれ量を加算ま たは減算し てべ ク ト ル捕正す る動き ベ ク ト ル補正回路と、 を備えた画像動き検出装置。
    2. 画像動き ベ ク ト ル補正回路の走査位置ずれ量は、 1 フ ィ 一ル ド に於け る ラ イ ン 間隔の 1 / 2 の大き さ であ る こ と を 特徵とする特許請求の範囲第 1 項に記載の画像動き検出裝
    3 . イ ン タ レ ー ス方式の入力映像信号に対し、 こ の入力映像 信号の ラ イ ン 間の捕間処理を行い捕間信号を作り、 こ れを 垂直方向補間映像信号と し て出力する垂直方向捕間回路と、 前記垂直方向捕間映像信号を複数の領域に分割し、. 各颌 域の代表点に対応する信号を代表点信号 と し て記憶し、 か つ、 前フ ィ ール ド の各代表点信号を出力する代表点記憶回 路と、 - 前記代表点記憶回路か ら の各代表点信号と これに対応す る前記入力映像信号の各領域内 の信号 と の間で相関演算を 行う相関演算回路 と、
    前記相関演算回路か ら得られた演算結果か ら画像動き べ ク ト ルを検出する動きベ ク ト ル検出回路と、
    前記動き べ ク ト ル検出回路か ら得ら れた画像動き べ ク ト ルを捕正する動き ベ ク ト ル補正回路と、 を具備し た画像動 き 検出装置。
    4 . イ ン タ レ ー ス方式の入力映像信号に対し、 こ の入力映像0 信号の ラ イ ン 間の捕間処理を行い捕間信号を作り、 こ れを 垂直方向補間映像信号と し て出力する垂直方向補間回路と、 前記入力映像信号を複数の領域に分割し、 各領域の代表 点に対応する信号を代表点信号と して記憶し、 かつ、 前フ ィ ール ド の各代表点信号を出力する代表点記憶回路と、
    5 前記代表点記憶回路か ら の各代表点信号と こ れ に対応す る前記垂直方向捕間映像信号の各領域内の信号と の間で相 関演算を行 う相関演算回路 と、
    前記相関演算回路か ら得ら れた演算結果か ら画像動き べ ク ト ルを検出する動き べ ク ト ル検出回路 と、
    0 前記動き ベ ク ト ル検出回路か ら得ら れた画像動き べ ク ト ルを捕正す る動き ベ ク ト ル捕正回路と、 を具備し た画像動 き検出装置。
    5 . イ ン タ レ ー ス方式の入力映像信号に対し、 こ の入力映像 信号の ラ イ ン 間の捕間処理を行い補間信号を作り、 こ れを5 垂直方向補間映像信号と し て出力する垂直方向補間回路と、 - 前記垂直方向補間映像信号と前記入力映像信号と を フ ィ 一ル ド情報に よ り 選択する信号選択回路と、
    前記信号選択回路か ら の出力信号を複数の領域に分割し、 各領域の代表点に対応する信号を代表点信号と して記憶し、 かつ、 前フ ィ ール ド の各代表点信号を出力する代表点記憶 回路と、
    前記代表点記憶回路から の各代表点信号と- , こ れに対応 する前記信号選択回路から の出力映像信号の各領域内の信 号と の間で相関演算を行う 相関演算回路と、
    0 前記相関演算回路か ら得られた演算結果か ら画像動き べ ク ト ルを検出する動き べ ク ト ル検出回路と、 を具備し た画 像動き検出装置。
    6. 画像動き検出装置に付随し て、 入力映像信号か ら画像の 特徴を抽出する複数個の フ ィ ル 夕 回路と、
    前記複数個の フ ィ ル タ回路の特性を選択する フ ィ ル 夕 選 択回路と、
    前記フ ィ ル タ選択回路の出力映像信号の ラ ィ ン間の捕間 処理を行い捕間信号を作り、 こ れを垂直方向捕間映像信号 と して出力する垂直方向捕間回路と、
    前記垂直方向捕間映像信号と前記フ ィ ル タ 選択回路の出 力映像信号 と を選択する信号選択回路 と を具備し、 前記複数個の フ ィ ル タ冋路の う ち、. 少な く と も 1 つ の フ ィ ル タ 回路は 自身の フ ィ ル タ特性と前記垂直方向補間回路 の持つ フ ィ ル タ特性を乗じ た特性が前記複数個の フ ィ ル 夕 回路の う ち、 別の少な く と も 1 つ の フ ィ ル タ 回路の フ ィ ル • タ特性に等し く、 前記フ ィ ル タ 選択回路 と前記信号選択回 路はと も に フ ィ ー ル ド情報に よ り 略同時に制御される特許 請求の範囲第 3項， 第 4項， 第 5項ま たは第 6項に記載の 画像動き検出装置。
    类似技术:
    公开号 | 公开日 | 专利标题
    US9077969B2|2015-07-07|Method and apparatus for determining motion between video images
    US5532751A|1996-07-02|Edge-based interlaced to progressive video conversion system
    US4992869A|1991-02-12|Motion dependent video signal processing
    US8681229B2|2014-03-25|Image pickup device, image blur correcting method, and program
    EP1143716B1|2006-05-31|Apparatus and method for concealing interpolation artifacts in a video interlaced to progressive scan converter
    US5682205A|1997-10-28|Adaptive, global-motion compensated deinterlacing of sequential video fields with post processing
    KR0176568B1|1999-05-01|모션과 공간적인 상관도를 이용한 비월순차 변환장치 및 그 방법
    EP0946055B1|2006-09-06|Method and system for interpolation of digital signals
    US5428399A|1995-06-27|Method and apparatus for image translation with improved motion compensation
    US6577345B1|2003-06-10|Deinterlacing method and apparatus based on motion-compensated interpolation and edge-directional interpolation
    US6999128B2|2006-02-14|Stillness judging device and scanning line interpolating device having it
    DE60305274T2|2006-09-21|Bewegungsschätzungsvorrichtung, Verfahren und maschinenlesbares Speichermedium geeignet zur Erkennung von Verschiebungen von Text und grafischen Daten
    US8081225B2|2011-12-20|Image processing apparatus and method, recording medium, and program
    US7570305B2|2009-08-04|Sampling of video data and analyses of the sampled data to determine video properties
    US7265791B2|2007-09-04|Method and apparatus for de-interlacing video signal
    JP4745388B2|2011-08-10|二重経路画像シーケンス安定化
    US7720150B2|2010-05-18|Pixel data selection device for motion compensated interpolation and method thereof
    JP4563603B2|2010-10-13|両方向動きベクトルを用いたフォーマット変換装置及びその方法
    KR950006774B1|1995-06-22|움직임보상예측방법
    JP3850071B2|2006-11-29|変換装置及び変換方法
    JP4190805B2|2008-12-03|撮像装置
    TWI248295B|2006-01-21|Signal processing device and signal processing method
    US5959681A|1999-09-28|Motion picture detecting method
    US5005078A|1991-04-02|Motion dependent video signal processing
    KR100575116B1|2006-10-19|움직임추정을위한전처리방법및장치
    同族专利:
    公开号 | 公开日
    US5452021A|1995-09-19|
    DE4192565C2|1994-07-07|
    DE4192565T|1992-12-10|
    US5389918A|1995-02-14|
    引用文献:
    公开号 | 申请日 | 公开日 | 申请人 | 专利标题
    法律状态:
    1992-04-30| AK| Designated states|Kind code of ref document: A1 Designated state(s): DE US |
    1992-12-10| RET| De translation (de og part 6b)|Ref document number: 4192565 Country of ref document: DE Date of ref document: 19921210 |
    1992-12-10| WWE| Wipo information: entry into national phase|Ref document number: 4192565 Country of ref document: DE |
    优先权:
    申请号 | 申请日 | 专利标题
    JP2/286203||1990-10-23||
    JP2286203A|JP2689716B2|1990-10-23|1990-10-23|画像動き検出装置|
    JP2/331934||1990-11-28||
    JP2331934A|JP2516580B2|1990-11-28|1990-11-28|画像動き検出装置|US07/853,703| US5389918A|1990-10-23|1991-10-22|Image fluctuation detection apparatus|
    DE19914192565| DE4192565C2|1990-10-23|1991-10-22|Bildfluktuationserfassungseinrichtung|
    [返回顶部]